卷积

Convolution

反褶、平移、相乘、积分

卷积本质上是一种积分运算，它要衡量的是两个信号在各个时间点上的综合“影响”。相乘的操作确保了只有两个信号都非零且在同一时间点重合时，这种重叠才对最终结果有贡献。这种计算方式就很好地体现了物理系统中两个信号的相互作用，例如输入信号如何被系统响应“过滤”或“调制”。
我们希望将一个信号与另一个信号结合起来，生成一个新的信号。这种结合方式通过在时间轴上滑动一个信号，并计算它与另一个信号的重叠效果，体现了“卷绕”的概念。

它通过将一个函数（通常称为卷积核 (Kernel) 或滤波器 (Filter)）在另一个函数（如图像、信号）上滑动，并在每个位置进行乘积求和，从而生成一个新的函数。卷积操作能够有效地提取特征、平滑数据或进行其他变换。

核心思想：加权求和与特征提取

卷积的本质是一种加权求和。卷积核定义了在每个局部区域内，如何对输入数据进行加权组合。通过设计不同的卷积核，我们可以实现不同的功能，例如：

特征提取: 边缘检测、纹理识别。
图像平滑: 去噪、模糊。
图像锐化: 增强图像细节。

基本定义

连续卷积

x (t) * g (t) = \int_{- \infty}^{+ \infty} x (τ) g (t - τ) d τ

离散卷积

\begin{array}{r} (x * h) [n] = \sum_{k = - \infty}^{+ \infty} x [k] h [n - k] \end{array}

卷积的性质

交换律 $f * g = g * f$ 无论是连续卷积还是离散卷积，都满足交换律。
结合律 $f * (g * h) = (f * g) * h$ 卷积运算是结合的，这意味着多个卷积运算的顺序可以任意调整。
分配律 $f * (g + h) = (f * g) + (f * h)$ 卷积对加法运算是分配的。
平移不变性 如果 $h (t) = f (t - t_{0})$ ，则 $(h * g) (t) = (f * g) (t - t_{0})$

积分变换

傅里叶变换

\begin{aligned} F [f_{1} (x) * f_{2} (x)] & = F_{1} (ω) F_{2} (ω) \end{aligned}

拉普拉斯变换

F (s) = L {f (t)} = \int_{0}^{\infty} f (t) e^{- s t} d t

\begin{aligned} L [x (t) * g (t)] & = \int_{0}^{\infty} \int_{0}^{t} x (τ) g (t - τ) d τ e^{- s t} d t \\ = \int_{0}^{\infty} \int_{τ}^{\infty} x (τ) g (t - τ) e^{- s t} d t d τ \\ = \int_{0}^{\infty} \int_{0}^{\infty} x (τ) g (u) e^{- s (u + τ)} d u d τ (t - τ = u) \\ = \int_{0}^{\infty} x (τ) e^{- s τ} d τ \int_{0}^{\infty} g (u) e^{- s u} d u \\ = X (s) G (s) \end{aligned}

卷积的 Laplace 变换就是 Laplace 变换后的乘积

z 变换

自相关与互相关

自相关：是一个信号与其自身的卷积，用于测量信号的重复模式：

\begin{array}{r} R_{f} (t) = (f * f) (t) \end{array}

互相关：用于测量两个信号之间的相似性，定义为：

\begin{array}{r} (f * g) (t) = \int_{- \infty}^{\infty} f (τ) g (τ + t) d τ \end{array}

维纳-辛钦定理

维纳-辛钦定理指出，一个信号的自相关函数的傅里叶变换是其功率谱密度：

\begin{array}{r} S_{x x} (ω) = F {R_{x} (t)} \end{array}

快速卷积算法

快速傅里叶变换（FFT）：卷积可以通过快速傅里叶变换（FFT）来高效计算：

\begin{array}{r} f * g = F^{- 1} {F {f} \cdot F {g}} \end{array}

分块卷积：对于大规模数据，分块卷积通过将数据分块计算卷积来提高效率。

卷积的应用

多维随机变量函数的分布
如果 $X$ 和 $Y$ 是两个独立随机变量，其概率密度函数分别为 $f_{X} (x)$ 和 $f_{Y} (y)$ ，则它们和 $Z = X + Y$ 的概率密度函数 $f_{Z} (z)$ 是：

\begin{array}{r} f_{Z} (z) = (f_{X} * f_{Y}) (z) = \int_{- \infty}^{\infty} f_{X} (x) f_{Y} (z - x) d x \end{array}

卷积在信号处理、图像处理、概率论、深度学习等领域有着广泛的应用。
在图像处理和计算机视觉中，卷积神经网络（CNN）使用卷积层提取图像中的特征。可以讨论卷积的高效实现，如快速傅里叶变换（FFT）加速卷积计算，以及卷积在自适应滤波、模式识别中的应用。
卷积在最新研究领域中的应用，比如在医学图像分析、自然语言处理中的自注意力机制和卷积的结合等。

一维卷积

对于一维信号 $f [n]$ 和卷积核 $h [n]$ ，它们的离散卷积 $y [n]$ 定义为：

y [n] = (f * h) [n] = \sum_{k = - \infty}^{\infty} f [k] h [n - k]

或者等价地：

y [n] = (f * h) [n] = \sum_{k = - \infty}^{\infty} f [n - k] h [k]

二维卷积

在图像处理中，我们通常处理二维图像。对于二维图像 $I [x, y]$ 和二维卷积核 $K [u, v]$ ，它们的离散卷积 $O [x, y]$ 定义为：

O [x, y] = (I * K) [x, y] = \sum_{u = - \infty}^{\infty} \sum_{v = - \infty}^{\infty} I [u, v] K [x - u, y - v]

或者等价地（在卷积神经网络中更常用，不翻转核）：

O [x, y] = \sum_{u = - \infty}^{\infty} \sum_{v = - \infty}^{\infty} I [x + u, y + v] K [u, v]

卷积核 (Kernel) / 滤波器 (Filter)

卷积核是一个小型的矩阵，它定义了卷积操作要提取的特征类型。不同的卷积核可以实现不同的图像处理效果：

边缘检测核: 如 Sobel、Prewitt 核，用于突出图像中的边缘。 $(\begin{matrix} - 1 & 0 & 1 \\ - 2 & 0 & 2 \\ - 1 & 0 & 1 \end{matrix}) (Sobel X)$
平滑核: 如高斯滤波核，用于模糊图像和去噪。 $\frac{1}{16} (\begin{matrix} 1 & 2 & 1 \\ 2 & 4 & 2 \\ 1 & 2 & 1 \end{matrix}) (Gaussian Blur)$
锐化核: 用于增强图像的细节。 $(\begin{matrix} 0 & - 1 & 0 \\ - 1 & 5 & - 1 \\ 0 & - 1 & 0 \end{matrix}) (Sharpen)$